O prédio foi erguido entre 1860 e 1870 para ser a residência do Coronel Teixeira – um dos proprietários da Companhia de Navegação São João da Barra/Campos – e sua segunda esposa. O casal não deixou herdeiros. Foi adquirido pelo Estado e em 12 de dezembro de 1922 passou a ser o Grupo Escolar Alberto Torres, desativado em 1970. Abandonado, ficou em ruínas até o ano de 2008 quando foi restaurado na gestão da prefeita Carla Machado para servir como espaço cultural do município. Recebeu o nome de Palácio Cultural Carlos Martins – sanjoanense ligado à cultura e que lutara incessantemente por sua restauração – para abrigar salas de música, dança, fotografia, multimídia, galeria para exposição de artes e um imponente salão nobre. É um patrimônio público tombado pelo Instituto Estadual do Patrimônio Cultural (Inepac)